#!/bin/sh
#######hive数仓小项目
####创建日期：2025-04-30
####创建人员：2502全体
###版本功能：清洗ods层客户基表的数据落地到dw层
#来源表：ods_cust_info_02 落地表：dw_cust_info_02
###开始编写脚本，封装sql，需要先把sql跑通然后再进行封装
hive -v -e "set hive.exec.mode.local.auto=true;
insert overwrite table dw02.dw_cust_info_02
select 
        regexp_replace(cust_id,'[^0-9]+','') cust_id,
        regexp_replace(cust_name,'[^一-龥]+','') cust_name,
        product_code,
        txt_amt,
        addrno,
        age,
        dt,
        current_timestamp etl_dt
        from ods02.ods_cust_info_02;"
echo $?
echo "---数据已清洗完成，接下来数据的验证"
c=`hive -e "set hive.exec.mode.local.auto=true;select count(*) from ods02.ods_cust_info_02;"`
echo "客户基表ods的数据量为：${c}条"
c1=`hive -e "set hive.exec.mode.local.auto=true;select count(*) from dw02.dw_cust_info_02;"`
echo "dw层的数据量为：${c1}条"
if [ "$c1" -eq "$c" ];then
    echo "清洗成功"
else
    echo "清洗失败"
fi
